Análisis de las pruebas realizadas con Blosc¶

Objetivos del análisis¶

Relacionar el tamaño de bloque con las medidas de compresión y decompresión.
Comprobar el comportamiento de los niveles de compresión sobre las pruebas.
Comparar los datos de compresión de tablas normales y columnares.
¿Existe correlación entre blosclz o lz4 con nivel de compresión 1 y el resto de codecs?
[Punto muerto] ¿Existe correlación entre las características del chunk y las medidas de compresión y decompresión?

Descripción de la muestra¶

El DataFrame en cuestión está formado por las características extraídas de un array de datos al comprimirlo y descomprimirlo mediante blosc. En cada fichero aparecen distintos conjuntos de datos los cuáles dividimos en fragmentos de 16 MegaBytes y sobre los cuales realizamos las pruebas de compresión y decompresión.
Cada fila se corresponde con los datos de realizar los test de compresión sobre un fragmento (chunk) de datos específico con un tamaño de bloque, codec, filtro y nivel de compresión determinados.

Variable	Descripción
Filename	nombre del fichero del que proviene.
DataSet	dentro del fichero el conjunto de datos del que proviene.
Table	0 si los datos vienen de un array, 1 si vienen de tablas y 2 para tablas columnares.
DType	indica el tipo de los datos.
Chunk_Number	número de fragmento dentro del conjunto de datos.
Chunk_Size	tamaño del fragmento.
Mean	la media.
Median	la mediana.
Sd	la desviación típica.
Skew	el coeficiente de asimetría.
Kurt	el coeficiente de apuntamiento.
Min	el mínimo absoluto.
Max	el máximo absoluto.
Q1	el primer cuartil.
Q3	el tercer cuartil.
N_Streaks	número de rachas seguidas por encima o debajo de la mediana.
Block_Size	el tamaño de bloque que utilizará Blosc para comprimir.
Codec	el codec de blosc utilizado.
Filter	el filtro de blosc utilizado.
CL	el nivel de compresión utilizado.
CRate	el ratio de compresión obtenido.
CSpeed	la velocidad de compresión obtenida en GB/s.
DSpeed	la velocidad de decompresión obtenida en GB/s.

%matplotlib inline
%config InlineBackend.figure_format='retina'

%load_ext autoreload
%autoreload 2

%load_ext version_information
%version_information numpy, scipy, matplotlib, pandas

import os
import sys
sys.path.append("../src/")

from IPython.display import display
import matplotlib
from matplotlib import pyplot as plt
import pandas as pd

import custom_plots as cst

pd.options.display.float_format = '{:,.3f}'.format
matplotlib.rcParams.update({'font.size': 12})

Descripción general¶

Cargamos el csv entero, comprobamos que no faltan campos y mostramos un breve resumen.

# LOAD WHOLE CSV
my_df = pd.read_csv('../data/blosc_test_data_final.csv.gz', sep='\t')
# SORT COLUMNS
my_df = my_df[cst.COLS]
# CHECK MISSING DATA
if not my_df.isnull().any().any():
    print('No missing data')
else:
    print("Missing data")

No missing data

# SUMMARY OF THE DATAFRAME 
display(my_df[cst.COLS[5:]].describe())

Como se puede observar hay mucha variabilidad en nuestros datos, lo cual es bueno.

Veamos cuantos conjuntos de datos tiene el fichero.

sets = my_df.drop_duplicates(subset=['DataSet', 'Table'])[cst.DESC_SET]
print('First ten datasets')
display(sets.head(n=10))
print('There are %d datasets' % (sets.shape[0]))

First ten datasets

There are 120 datasets

Tablas de referencia de los conjuntos de datos¶

Procedemos a mostrar un resumen de las características extraídas de cada conjunto de datos.

for dataset in sets.drop_duplicates(subset=['DataSet'])['DataSet']:
        set_info = sets[sets.DataSet == dataset]
        print('SUMMARY')
        print(set_info)
        aux_set = my_df[my_df.DataSet == dataset].drop_duplicates(subset=['Chunk_Number'])
        if aux_set.shape[0] > 1:
            display(aux_set.describe()[cst.CHUNK_FEATURES])
        else:
            display(aux_set[cst.CHUNK_FEATURES])

SUMMARY
  DataSet    DType  Table  Chunk_Size
0      /U  float32  0.000      16.000

SUMMARY
      DataSet    DType  Table  Chunk_Size
85860      /V  float32  0.000      16.000

SUMMARY
                       DataSet  DType  Table  Chunk_Size
150660  /Grids/G1/precipAllObs  int32  0.000       0.738

SUMMARY
                                DataSet    DType  Table  Chunk_Size
152280  /Grids/G1/surfPrecipLiqRateProb  float32  0.000       0.015

SUMMARY
                              DataSet    DType  Table  Chunk_Size
153900  /Grids/G1/surfPrecipLiqRateUn  float32  0.000       0.015

SUMMARY
                                         DataSet  DType  Table  Chunk_Size
155520  /Grids/G1/surfPrecipTotRateDiurnalAllObs  int32  0.000       1.107

SUMMARY
                                DataSet    DType  Table  Chunk_Size
157140  /Grids/G1/surfPrecipTotRateProb  float32  0.000       0.015

SUMMARY
                              DataSet    DType  Table  Chunk_Size
158760  /Grids/G1/surfPrecipTotRateUn  float32  0.000       0.015

SUMMARY
                       DataSet  DType  Table  Chunk_Size
160380  /Grids/G2/precipAllObs  int32  0.000      16.000

SUMMARY
                                DataSet    DType  Table  Chunk_Size
170100  /Grids/G2/surfPrecipLiqRateProb  float32  0.000       5.889

No entraremos en detalles sobre cada conjunto de datos, simplemente nos conviene tener estas tablas como referencia rápida en caso de detectar anomalías en algún conjunto en concreto.

Detección d¶

Para evitar que los diagramas de caja esten plagados de datos atípicos, procedemos a filtrar con el codec blosclz, filtro shuffle, nivel de compresión 5 y tamaño de bloque automático para buscar con detenimiento datos atípicos.

df_outliers = my_df[(my_df.Block_Size == 0) & (my_df.CL == 5) &
                    (my_df.Codec == 'blosclz') &
                    (my_df.Filter == 'noshuffle')]
cst.paint_dtype_boxplots(df_outliers)

Mostramos a continuación los datos atípicos

for i in range(2):
    dfaux = df_outliers[df_outliers.DType.str.contains(cst.TYPES[i])]
    if dfaux.size > 0:
        cr_lim = cst.outlier_lim(dfaux['CRate'])
        cs_lim = cst.outlier_lim(dfaux['CSpeed'])
        ds_lim = cst.outlier_lim(dfaux['DSpeed'])
        result = dfaux[(dfaux.CRate < cr_lim[0]) | 
                       (dfaux.CRate > cr_lim[1]) |
                       (dfaux.CSpeed < cs_lim[0]) | 
                       (dfaux.CSpeed > cs_lim[1]) |
                       (dfaux.DSpeed < ds_lim[0]) | 
                       (dfaux.DSpeed > ds_lim[1])][cst.ALL_FEATURES]
        if result.size > 0:
            print('%d %s OUTLIERS' % (result.shape[0],
                                      cst.TYPES[i].upper()))
            display(result.head())

81 FLOAT OUTLIERS

38 INT OUTLIERS

No mostramos los datos atípicos de tipo string dado que no extraemos ninguna característica de chunk que podamos comentar.
En cuanto a los datos atípicos observamos que la mayoría son series de números idénticos o muy parecidos, siempre con un rango intercuartílico de 0.

Correlaciones Block Size¶

Aquí pretendemos observar la correlación entre el tamaño de bloque y las medidas de compresión, para ello filtramos los datos por tipo, codec, filtro, nivel de compresión y tamaño de bloque; y calculamos la media de su ratio de compresión y velocidades de compresión/decompresión.

Las gráficas presentan los ratios de compresión (en azul) y las velocidades de compresión y de descompresión (en rojo y verde) medios para cada tamaño de bloque. Primero mostramos estos datos para los datos de tipo float y de tipo int.

cst.paint_all_block_cor(my_df, 'shuffle', c_level=5)

Aquí se muestran los mismos gráficos pero para los datos del tipo cadenas de texto

cst.paint_all_block_cor(my_df, 'noshuffle')

Como podemos observar, al aumentar el tamaño de bloque suele aumentar el ratio de compresión pero parece converger hasta un límite entre los tamaños de 512 KB y 2 MB. Además cuando el tamaño de bloque es menor en general las velocidades son más rápidas.

Por otro lado destaca el comportamiento de Snappy pues no parece comprimir muy bien con respecto al resto. Por otro lado Zlib parece ser inferior en todo a Zstd.

Aquí se presentan las mismas gráficas pero alterando el nivel de compresión para ver como afecta al tamaño de bloque.

cst.paint_cl_comparison(my_df, 'shuffle', 'blosclz')

cst.paint_cl_comparison(my_df, 'shuffle', 'lz4')

Los resultados son los esperados el comportamiento es en general el mismo, simplemente suben los ratio de compresión y bajan las velocidades a medida que aumenta el nivel de compresión. Por otra parte destaca el comportamiento del tamaño de bloque automático observamos que está programado para que aumente conjuntamente con el nivel de compresión.

Comparación de niveles de compresión¶

Al igual que en el anterior caso hacemos los mismos gráficos pero observando el nivel de compresión.

# BLOCK SIZE --> CL
cst.paint_all_block_cor(my_df, 'shuffle', block_size=256, cl_mode=True)

cst.paint_all_block_cor(my_df, 'noshuffle', block_size=256, cl_mode=True)

Destaca el comportamiento de Snappy de nuevo vuelve a ser el más raro de todos, el nivel de compresión no cambia nada. Por otro lado Zlib tiene un cambio brusco a partir del nivel de compresión 3, esto se debe a que a partir de ese nivel activa métodos más potentes a la hora de comprimir. Finalmente Zstd parece hacer lo mismo que Zlib, pero parece que en los últimos niveles de compresión no funciona bien, pues pierde ratio de compresión.

Tablas columnares VS Tablas normales¶

En el caso de que los datos esten en forma de tabla, si la tabla contiene más de una columna se realizan dos pruebas de compresión, una guardando los datos como tabla normal, fila por fila y otra guardándolos columnarmente.

df_col = my_df[my_df.Table == 2]
if df_col.size > 0:
    sets = df_col.drop_duplicates(subset=['DataSet'])
    for dataset in sets['DataSet']:
        dfaux = my_df[my_df.DataSet == dataset]
        normal_table = dfaux[dfaux.Table == 1][cst.TEST_FEATURES]
        normal_table.columns = ['N_CRate', 'N_CSpeed', 'N_DSpeed']
        col_table = dfaux[dfaux.Table == 2][cst.TEST_FEATURES]
        col_table.columns = ['COL_CRate', 'COL_CSpeed', 'COL_DSpeed']
        result = pd.concat([normal_table, col_table])
        result = result[['N_CRate', 'COL_CRate', 'N_CSpeed', 
                         'COL_CSpeed','N_DSpeed', 'COL_DSpeed']]
        print(sets[sets.DataSet == dataset][cst.DESC_SET])
        display(result.describe())

                            DataSet    DType  Table  Chunk_Size
1001160  /msft/table.values_block_0  float64  2.000      16.000

                            DataSet DType  Table  Chunk_Size
1025460  /msft/table.values_block_2  |S49  2.000      16.000

                           DataSet  DType  Table  Chunk_Size
1046520  /s501/events.pulseheights  int16  2.000      12.999

                        DataSet  DType  Table  Chunk_Size
1051380  /s501/events.integrals  int32  2.000      16.000

                           DataSet  DType  Table  Chunk_Size
1077300  /s503/events.pulseheights  int16  2.000       7.706

                        DataSet  DType  Table  Chunk_Size
1080540  /s503/events.integrals  int32  2.000      15.412

                           DataSet  DType  Table  Chunk_Size
1104840  /s506/events.pulseheights  int16  2.000      14.449

                        DataSet  DType  Table  Chunk_Size
1109700  /s506/events.integrals  int32  2.000      16.000

Como era de esperar, parece que las tablas columnares son más comprimibles. Aunque hay casos en los que se comprimen igual, nunca se comprimen menos.

Correlaciones Blosclz-CL1 VS Otros¶

Para poder visualizar todas estas correlaciones calculamos directamente el coeficiente de pearson asociado entre los datos de blosclz con nivel de compresión 1 y el resto.

cst.paint_codec_pearson_corr(my_df, 'blosclz', 1)

Aquí hacemos los mismo para LZ4

cst.paint_codec_pearson_corr(my_df, 'lz4', 1)

Los resultados son bastante buenos, además era de esperar. Aunque LZ4 tiene mejores resultados ambas opciones parecen lo suficientemente buenas.

Correlaciónes entre características de chunk y pruebas de compresión¶

Aquí se trata de observar las correlaciones entre características de chunk seleccionadas y las pruebas de compresiones. Para ello se utiliza un gráfico de pares personalizado. Además los datos se filtran por codec, filtro, nivel de compresión y tamaño de bloque, sino no tendría sentido los gráficos debido a la enorme variabilidad que habría.

dfaux = my_df[(my_df.Codec == 'lz4') & (my_df.Block_Size == 256) &
              (my_df.Filter == 'shuffle') & (my_df.CL == 5) &
              (my_df.DType.str.contains('float') |
               my_df.DType.str.contains('int'))]
cols = ['Mean', 'Sd', 'Skew', 'Kurt']
cst.custom_pairs(dfaux, cols)

680 points

cols = ['Range', 'Q_Range', 'N_Streaks']
dfaux = dfaux.assign(Range=dfaux['Max'] - dfaux['Min'])
dfaux = dfaux.assign(Q_Range=dfaux['Q3'] - dfaux['Q1'])
cst.custom_pairs(dfaux, cols)

680 points

Aunque se podría plantear decir que a mayor rango y número de rachas disminuye el ratio de compresión, no sería muy adecuado sacar conclusiones de estos gráficos. Hay demasiada variabilidad en los datos en sí como para extraer conclusiones de un simple gráfico, será mejor que estas correlaciones las busquen los algoritmos de clasificación en sí.

Software	Version
Python	3.5.3 64bit [GCC 4.4.7 20120313 (Red Hat 4.4.7-1)]
IPython	5.1.0
OS	Linux 4.9.16 gentoo x86_64 with debian stretch sid
numpy	1.12.1
scipy	0.19.0
matplotlib	2.0.0
pandas	0.19.2
Sat Apr 29 10:46:42 2017 UTC

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks	Block_Size	CL	CRate	CSpeed	DSpeed
count	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000	1,127,520.000
mean	14.384	5,855,203,352,860,118.000	5,855,510,553,455,461.000	3,338,034,656,223.127	12.276	2,960.293	5,849,131,049,179,057.000	5,860,675,864,112,030.000	5,852,583,057,632,408.000	5,858,072,925,864,367.000	279,772.803	408.800	5.000	83.863	3.324	6.751
std	3.965	88,991,425,790,313,680.000	88,996,095,055,340,192.000	50,744,320,308,850.523	40.009	20,641.213	88,899,134,721,544,352.000	89,074,600,722,058,176.000	88,951,600,897,789,536.000	89,035,039,572,418,704.000	447,871.918	626.196	2.582	618.729	4.209	4.595
min	0.015	-996.946	-999.000	0.000	-134.250	-3.000	-999.000	-4.000	-999.000	-999.000	0.000	0.000	1.000	0.999	0.001	0.179
25%	16.000	0.000	0.000	0.183	0.062	-0.888	-14.210	9.489	0.000	0.000	18,130.000	16.000	3.000	1.870	0.388	3.113
50%	16.000	0.101	0.000	2.679	3.052	12.431	0.000	32.387	0.000	0.077	125,503.000	96.000	5.000	4.932	1.707	6.081
75%	16.000	3.121	0.001	59.326	9.994	184.219	0.000	133.042	0.000	18.980	410,675.000	512.000	7.000	17.533	4.566	9.364
max	16.000	1,358,459,542,578,043,904.000	1,358,622,091,149,467,648.000	795,493,396,001,273.125	497.825	316,831.759	1,356,998,404,761,455,616.000	1,359,676,799,663,922,944.000	1,357,915,976,235,253,760.000	1,359,154,499,978,547,968.000	4,367,308.000	2,048.000	9.000	10,645.442	23.848	86.345

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks
count	53.000	53.000	53.000	53.000	53.000	53.000	53.000	53.000	53.000	53.000	53.000
mean	15.726	14.314	9.838	12.731	0.624	-0.720	-15.663	48.531	4.747	24.449	94,648.358
std	1.995	4.350	3.881	2.527	0.153	0.319	4.249	9.016	3.546	6.457	19,730.974
min	1.475	5.762	2.096	6.404	0.228	-1.164	-28.273	27.146	-1.446	11.317	13,756.000
25%	16.000	10.708	7.198	11.469	0.532	-0.921	-17.664	43.313	1.943	18.781	82,271.000
50%	16.000	15.430	9.564	13.268	0.649	-0.793	-14.891	50.507	4.873	25.905	95,832.000
75%	16.000	17.302	13.019	14.752	0.738	-0.624	-12.637	53.064	7.273	27.890	109,934.000
max	16.000	22.909	16.944	17.010	1.072	0.549	-9.488	62.922	10.356	38.366	124,896.000

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks
count	40.000	40.000	40.000	40.000	40.000	40.000	40.000	40.000	40.000	40.000	40.000
mean	15.900	2.073	1.526	4.976	0.311	0.301	-16.644	23.037	-1.197	4.881	194,369.825
std	0.631	2.517	1.696	2.391	0.510	0.742	4.047	9.672	1.472	3.369	36,781.843
min	12.009	-1.626	-1.256	2.474	-0.600	-0.370	-29.640	13.443	-4.887	0.552	141,024.000
25%	16.000	-0.240	-0.088	3.414	-0.031	-0.162	-19.447	16.708	-2.397	2.357	162,933.000
50%	16.000	1.886	1.721	4.303	0.253	0.240	-16.237	20.683	-0.907	4.500	186,578.000
75%	16.000	3.743	2.851	5.930	0.644	0.484	-13.344	25.571	-0.204	6.422	219,685.000
max	16.000	9.091	4.968	14.419	1.748	4.040	-11.483	56.161	1.253	15.373	293,423.000

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks
count	6.000	6.000	6.000	6.000	6.000	6.000	6.000	6.000	6.000	6.000	6.000
mean	15.703	183.354	173.500	107.464	2.317	9.421	0.000	910.000	116.167	222.333	198,604.333
std	0.727	6.775	10.710	1.604	0.023	0.173	0.000	0.000	5.742	4.502	14,750.195
min	14.219	176.954	163.000	105.856	2.292	9.218	0.000	910.000	111.000	218.000	179,642.000
25%	16.000	177.709	164.250	106.084	2.296	9.273	0.000	910.000	111.500	218.500	188,721.000
50%	16.000	181.741	171.500	107.211	2.316	9.426	0.000	910.000	114.500	221.500	197,790.500
75%	16.000	187.916	181.750	108.644	2.338	9.577	0.000	910.000	119.750	225.250	210,105.250
max	16.000	193.347	188.000	109.676	2.342	9.605	0.000	910.000	125.000	229.000	216,495.000

	DataSet	DType	Chunk_Size
0	/U	float32	16.000
85860	/V	float32	16.000
150660	/Grids/G1/precipAllObs	int32	0.738
152280	/Grids/G1/surfPrecipLiqRateProb	float32	0.015
153900	/Grids/G1/surfPrecipLiqRateUn	float32	0.015
155520	/Grids/G1/surfPrecipTotRateDiurnalAllObs	int32	1.107
157140	/Grids/G1/surfPrecipTotRateProb	float32	0.015
158760	/Grids/G1/surfPrecipTotRateUn	float32	0.015
160380	/Grids/G2/precipAllObs	int32	16.000
170100	/Grids/G2/surfPrecipLiqRateProb	float32	5.889

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks
count	18.000	18.000	18.000	18.000	18.000	18.000	18.000	18.000	18.000	18.000	18.000
mean	15.703	1.116	0.000	2.974	6.481	180.121	0.000	69.889	0.000	0.556	215,011.833
std	1.260	1.730	0.000	3.775	10.321	501.302	0.000	69.628	0.000	1.542	288,247.827
min	10.656	0.000	0.000	0.000	0.000	-3.000	0.000	0.000	0.000	0.000	1.000
25%	16.000	0.000	0.000	0.000	0.000	-3.000	0.000	0.000	0.000	0.000	1.000
50%	16.000	0.101	0.000	0.951	3.409	15.641	0.000	60.000	0.000	0.000	51,479.500
75%	16.000	1.624	0.000	5.388	6.060	49.034	0.000	143.250	0.000	0.000	424,109.750
max	16.000	5.748	0.000	11.004	41.152	2,111.449	0.000	175.000	0.000	6.000	889,465.000

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks
count	91.000	91.000	91.000	91.000	91.000	91.000	91.000	91.000	91.000	91.000	91.000
mean	15.907	-492.861	-637.851	507.856	0.008	-1.997	-999.000	30.934	-999.000	19.359	17,212.011
std	0.885	11.484	481.442	0.261	0.046	0.002	0.000	0.748	0.000	0.467	1,706.482
min	7.559	-509.377	-999.000	506.906	-0.112	-1.999	-999.000	29.715	-999.000	18.537	7,763.000
25%	16.000	-500.751	-999.000	507.769	-0.025	-1.999	-999.000	30.217	-999.000	18.981	16,068.000
50%	16.000	-497.201	-999.000	507.882	0.025	-1.998	-999.000	30.961	-999.000	19.338	17,327.000
75%	16.000	-484.812	-3.709	507.998	0.039	-1.996	-999.000	31.538	-999.000	19.614	18,260.500
max	16.000	-462.618	-0.219	508.295	0.073	-1.987	-999.000	32.856	-999.000	20.471	19,826.000

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks
count	24.000	24.000	24.000	24.000	24.000	24.000	24.000	24.000	24.000	24.000	24.000
mean	15.579	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000
std	2.064	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000
min	5.889	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000
25%	16.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000
50%	16.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000
75%	16.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000
max	16.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000	0.000

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks
count	2.000	2.000	2.000	2.000	2.000	2.000	2.000	2.000	2.000	2.000	2.000
mean	12.999	2,938.001	1,897.000	5,262.488	12.203	719.805	0.000	902,098.000	0.000	4,116.500	1,971,107.000
std	4.243	20.301	16.971	51.185	0.005	132.078	0.000	188,424.158	0.000	23.335	645,116.144
min	9.999	2,923.646	1,885.000	5,226.295	12.199	626.412	0.000	768,862.000	0.000	4,100.000	1,514,941.000
25%	11.499	2,930.824	1,891.000	5,244.392	12.201	673.109	0.000	835,480.000	0.000	4,108.250	1,743,024.000
50%	12.999	2,938.001	1,897.000	5,262.488	12.203	719.805	0.000	902,098.000	0.000	4,116.500	1,971,107.000
75%	14.500	2,945.179	1,903.000	5,280.585	12.204	766.502	0.000	968,716.000	0.000	4,124.750	2,199,190.000
max	16.000	2,952.356	1,909.000	5,298.681	12.206	813.198	0.000	1,035,334.000	0.000	4,133.000	2,427,273.000

	Chunk_Size	Mean	Median	Sd	Skew	Kurt	Min	Max	Q1	Q3	N_Streaks	CRate	CSpeed	DSpeed
84244	1.475	7.835	6.866	6.404	0.414	0.209	-12.035	27.183	4.119	11.317	13,756.000	1.000	1.739	29.472
200884	2.215	0.456	0.000	1.532	8.146	210.120	0.000	122.311	0.000	0.000	28,860.000	2.935	3.793	38.118
202504	2.215	0.650	0.000	2.098	4.997	32.385	0.000	43.932	0.000	0.000	29,002.000	3.036	4.552	33.353
213844	2.215	0.036	0.000	0.104	5.367	54.662	0.000	4.711	0.000	0.000	28,858.000	2.935	4.428	39.103
215464	2.215	0.044	0.000	0.127	4.180	23.454	0.000	3.249	0.000	0.000	29,004.000	3.036	4.566	36.434

	Chunk_Size	Mean	Sd	Skew	Kurt	Max	N_Streaks	CRate	CSpeed	DSpeed
199264	2.445	0.000	0.027	99.485	18,684.148	8.000	505.000	156.816	20.032	74.193
212224	2.445	0.002	0.055	50.616	3,993.813	8.000	1,523.000	134.316	19.042	22.407
231664	16.000	0.000	0.000	0.000	-3.000	0.000	1.000	170.639	19.035	29.024
251104	2.445	0.001	0.045	47.237	3,683.632	7.000	1,533.000	135.187	19.078	64.619
278644	16.000	0.000	0.000	0.000	-3.000	0.000	1.000	170.639	19.401	30.187

	N_CRate	COL_CRate	N_CSpeed	COL_CSpeed	N_DSpeed	COL_DSpeed
count	9,720.000	9,720.000	9,720.000	9,720.000	9,720.000	9,720.000
mean	10.462	17.942	2.063	2.281	5.760	4.986
std	7.310	33.079	2.237	2.462	4.037	3.204
min	1.000	1.000	0.002	0.002	0.361	0.345
25%	4.342	5.133	0.413	0.401	2.599	2.595
50%	8.844	8.050	1.249	1.557	4.425	4.276
75%	14.532	15.924	3.038	3.397	8.164	6.744
max	39.004	297.005	10.584	15.156	28.628	28.773

	N_CRate	COL_CRate	N_CSpeed	COL_CSpeed	N_DSpeed	COL_DSpeed
count	12,960.000	12,960.000	12,960.000	12,960.000	12,960.000	12,960.000
mean	52.373	147.258	6.509	6.845	11.466	10.729
std	45.062	737.652	5.962	6.167	3.926	3.685
min	1.000	1.000	0.005	0.007	1.862	1.881
25%	7.624	21.154	1.176	1.012	10.437	9.548
50%	46.981	47.146	4.621	5.745	12.911	11.920
75%	72.699	86.410	11.163	11.211	13.708	13.126
max	234.129	10,131.164	20.215	22.567	34.169	30.888

	N_CRate	COL_CRate	N_CSpeed	COL_CSpeed	N_DSpeed	COL_DSpeed
count	1,620.000	1,620.000	1,620.000	1,620.000	1,620.000	1,620.000
mean	1.412	1.408	1.788	1.545	5.182	4.917
std	0.314	0.307	2.634	2.243	4.310	4.134
min	1.000	1.000	0.002	0.002	0.398	0.366
25%	1.070	1.079	0.118	0.114	1.533	1.571
50%	1.479	1.473	0.650	0.624	4.019	3.790
75%	1.711	1.702	2.320	2.132	6.754	6.321
max	2.041	2.034	10.864	10.954	13.834	14.090

	N_CRate	COL_CRate	N_CSpeed	COL_CSpeed	N_DSpeed	COL_DSpeed
count	3,240.000	3,240.000	3,240.000	3,240.000	3,240.000	3,240.000
mean	2.199	2.196	1.574	1.473	4.854	4.707
std	0.478	0.465	1.848	1.672	3.330	3.265
min	1.000	1.000	0.003	0.003	0.503	0.363
25%	1.979	1.983	0.194	0.184	2.044	1.979
50%	2.197	2.184	0.935	0.899	4.277	4.094
75%	2.555	2.538	2.265	2.120	6.912	6.646
max	3.337	3.353	10.366	7.975	14.669	14.785